以技能为中心的智能体推进临床基因组分析
🧭 LLM Agent 技能编排与临床决策支持
Shanghai Jiao Tong University · Shanghai AI Laboratory · Xinhua Hospital affiliated to Shanghai Jiao Tong University School of Medicine · The Chinese University of Hong Kong · Shanghai Chest Hospital, Shanghai Jiao Tong University School of Medicine
ClinGeX智能体组合105个可执行临床基因组技能,留出基准一致性71.7%,远超最强对比45.7%
📌 工作参考价值(4 点)
- 技能化封装领域能力:将推荐/搜索系统中的召回、排序、过滤、解释等环节封装为可执行技能(API/工具),LLM 根据任务上下文检索并组合,而非直接生成,可显著提升可控性与可维护性,尤其适合多步骤重决策场景。
- 任务特异检索与依赖感知编排:为不同业务场景(新品、促销、长尾商品)维护技能索引,按任务类型动态检索少量相关技能,减少 prompt 长度;同时用 DAG 管理技能依赖(先召回后排序、先过滤后解释),避免 Agent 乱序调用。
- 人机协作评估设计:借鉴其三条件对照(无 AI、通用 LLM、专用 Agent)和真实世界反馈,在电商运营/算法协作中量化专家采纳率与效率提升,避免只看离线指标。
- 时间留出验证:采用 temporally held-out 切分评估,防止信息泄漏,推荐系统模型迭代中也应严格按时间切割验证集,评估泛化能力。
CARL:聊天辅助强化学习
🧭 LLM 辅助 RL 规范工程
Santa Clara University · Franklin Templeton
通过人机协同的十步规范工作流与自主工具循环,解决 RL 的规范与性能差距,避免奖励黑客和状态混叠
📌 工作参考价值(4 点)
- 在推荐/广告的强化学习项目中,reward hacking 与状态混叠是常见翻车点。可借鉴 CARL 的“先交互式确认 MDP + 奖励项权重,再生成训练代码”流程,让业务专家在建模前明确状态、动作、约束及多目标权重,减少上线后目标漂移。
- LLM 助手 persona + 步骤级 skill files 结构能引导非 RL 背景的业务/产品参与 RL 任务规范,适合内部自动化建模平台;紧凑决策摘要可跨迭代保留业务约束,避免长对话上下文过载,可直接复用到多轮需求澄清工具。
- 自主工具循环(生成-测试-调试)加训练后诊断重访,适合封装成半自动 RL pipeline 工具,把算法工程师从工程实现中解放出来,聚焦奖励设计与业务验证。
- 论文示例偏金融/控制,但工作流与 persona/skill 机制可迁移到电商强化学习系统的策略调试与参数治理。
谁主导?模型能力与任务条件化的人机协作
🧭 Agent 人机协作与任务条件控制分配
McGill University · MIT - Massachusetts Institute of Technology · University of Cambridge · University of Toronto · Mila - Quebec AI Institute
在共享控制迷宫中证明强模型能根据人类相对优势选择性分配控制,而非简单减少人类参与。
📌 工作参考价值(4 点)
- 在构建搜索/推荐 Agent 时,不要用“人类介入率”作为协作质量指标;应评估 agent 在给定上下文下的相对能力(如用户偏好的可预测性、数据稀缺性),动态决定是否请求用户、自主执行或完全移交,类似路由机制。当用户侧有信息优势(如长尾个性化、实时意图)时引入人工,常规高频查询则 agent 自主处理。
- 借鉴共享控制接口设计:让 agent 每步输出显式控制决策(act/request/handoff),便于监控和在线评估;用 solo 性能作为先验,对低能力模型或低置信场景增加 human-in-the-loop fallback。
- 任务条件化协作可作为离线评估框架:构造“人类优势/均势/agent优势”的模拟环境,量化不同 LLM 的协作策略,用于选型或提示词调整,避免上线后才发现 agent 过度求助或过度自主。
- 实验发现强模型在人类无优势时几乎不求助,仅在人类路线更短时约80%初始决策涉及人类,说明可设置阈值或条件策略:只有当用户信息增益显著大于 agent 能力时才触发人类参与。
Treadstone:受社交媒体启发的多智能体协作数据分析平台
🧭 多智能体协作数据分析
用社交信息流机制组织人与 AI 智能体在数据分析中的异步协作与证据追踪
📌 工作参考价值(4 点)
- 把 agent 的中间结果变成 feed 流,而不是聊天记录:在电商/推荐场景中做数据分析、实验归因或策略探索时,可以让多个 agent 异步发布观察、假设和证据链接,人类分析师通过轻量 curation(点赞、置顶、标注)来控制方向,避免单一 chatbot 交互带来的上下文丢失和被动等待。
- 线程化和证据链接提升可追溯性:借鉴 Treadstone 的 threaded posts,为 agent 产生的每个结论强制附带 provenance(数据来源、处理步骤),便于审计和冲突消解。这在广告投放归因、推荐系统 ablation 分析中很有价值,能快速定位错误假设。
- 利用“主动广播假设”平衡 autonomy 与 human control:让 agent 在置信度达到一定阈值时主动推送候选洞察,而不是等待用户提问。在电商大促实时监控中,可让 agent 主动发现异常指标并给出解释草案,分析师只需确认或驳回,提高响应速度。
- 学术贡献为主,工程落地需要改造:平台本身面向通用数据分析,缺乏与推荐/广告系统的深度耦合,直接迁移成本较高;但“feed 化协作”的设计思想可以嵌入内部实验分析工具或 agent 工作流编排中。
Atria Dawn:智能体超级智能的黎明
🧭 智能体基础模型与可验证经验训练
Atria Team · Fudan University
推出 Atria Dawn Preview:基于可验证经验管道训练的智能体基础模型,16个基准中5个达最高分,并揭示人机协作转向项目级伙伴关系
📌 工作参考价值(4 点)
- 可验证经验管道:在电商/推荐 Agent 场景中,可以把模型输出接入可执行环境(线上沙箱、模拟器、规则引擎)或外部验证信号(转化、GMV、AB 实验结果),将工具调用、策略生成转化为可验证经验,减少不可执行动作和幻觉。
- 人机协作模式:让 Agent 频繁提出方法和实现修改,人类保留最终决策与反馈,适合电商 Agent 工作流(选品、出价、文案生成)中设置 human-in-the-loop 决策门,提升效率且保持风险可控。
- 任务记录分析:借鉴其 769 条任务记录的量化方法,用 Agent 日志评估哪些环节“无 AI 不可行”,识别高杠杆场景,指导资源分配。
- 适用边界:论文聚焦科研与工程 Agent,非直接推荐系统;但可复用“可执行验证 + 工具交互”的建模思路到生成式推荐或策略 Agent,强化外部奖励闭环。
伦理培训智能体:角色扮演与讨论驱动的群体伦理教育系统
🧭 多智能体协作 · 伦理教育
KAIST · Georgia Institute of Technology
用多 LLM 智能体扮演不同伦理立场并配主持人,构建结构化人机群体讨论,提升伦理敏感度
📌 工作参考价值(4 点)
- 多智能体角色化设计:在电商/推荐场景可模拟买家、卖家、平台、监管等多方利益相关者,把产品策略或算法伦理评审变成多智能体讨论,提前暴露风险;给每个 agent 明确价值取向和发言约束,比单一 LLM 自问自答更容易产生对抗性视角。
- 引入 moderator agent 做结构化协调:负责话题推进、发言顺序、冲突收敛和纪要,这对多 agent 讨论质量很关键,可直接复用到 RAG/Agent 工作流中的多步规划与 orchestration。
- 人机混合群体讨论的评估方法:借鉴其用户研究设计,对落地 Agent 产品做过程性指标(参与感、视角采择、协调效率)和结果性指标(决策质量/敏感度)分开测量,而不要只看最终推荐效果。
- 局限:研究为伦理教育场景、用户规模 45 人,业务可借鉴点主要在 agent 编排与 human-in-the-loop 讨论设计,不直接涉及生成式推荐或 query 策略。
MIVAIS:多智能体混合主动式可视分析研究环境
🧭 多智能体混合主动可视分析平台
ETH Zürich, Switzerland
提出MIVAIS双层平台,标准化多智能体状态同步与通信,并自动记录多模态人机协作溯源数据
📌 工作参考价值(3 点)
- 借鉴其集中式 World State + Agent Registry + Communication Channels 架构,将多智能体推荐/搜索系统中的状态同步从各服务私有化改为共享“世界状态”,降低 agent 开发与联调成本;特别是加入 Permission Guard 可统一控制人机协作中 agent 的写权限,适合电商导购/客服等半自主场景。
- 采用声明式实验配置(YAML 定义任务、角色、数据采集)与自动多模态溯源(应用状态、屏幕录制、音频、传感器)建设 Agent 系统的用户研究/在线评估闭环,避免为每次实验重复埋点。
- 其自动回放与交互时间线可用于事后分析用户与推荐/搜索 agent 的协作过程,定位“用户在何时拒绝或修正 agent 建议”的序列模式,对优化生成式推荐交互有直接参考价值。
概念瓶颈模型作为决策支持系统真的有效吗?
🧭 可解释AI · 人机协同决策
DISI, University of Trento, Italy · CIMeC, University of Trento, Italy
大规模用户研究验证CBM交互式概念修正仅在困难任务、易识别概念且主动交互下提升人机协同准确率
📌 工作参考价值(4 点)
- 把推荐/广告模型的中间表征改造成“可编辑概念层”:先预测一组业务可理解概念(如价格敏感、类目偏好、即时意图),再由下游策略/模型输出最终排序或文案;产品运营可纠正概念而无需懂特征,CBM 的用户研究表明这种交互式修正比仅展示解释更能提升人机协同准确率。
- 交互式概念修正不是万金油:论文发现增益只在任务被用户认为困难、概念容易识别且用户主动交互时出现。在电商场景,可优先用于高价值、高不确定性的推荐/投放决策(如大促选品、push 文案筛选),而不是所有流量都开放人工干预。
- 概念检测的准确性会直接影响信任:如果模型经常识别错概念,用户反而会不信任系统。部署前应评测概念层准确率、对齐业务术语,必要时展示置信度或“不确定”状态,避免误导运营。
- 对 LLM/Agent 方案,可将“reasoning/解释”视作 concept bottleneck:让 Agent 先输出可校验的中间意图或证据标签,再生成推荐/Query;同时提供人工修正这些标签的入口,借鉴该研究的用户实验设计做 A/B 验证。
音乐共创智能体的层次化自监督世界模型
🧭 层次化自监督世界模型 · 音乐生成
Department of Chemistry & Physics, Belmont University
层次化自监督表征使音乐理解与生成解耦,小模型结合流匹配实现实时可交互的共创建议
📌 工作参考价值(4 点)
- 层次化自监督表征学习可用于序列推荐:粗粒度层级对应长期兴趣(如主题、品类偏好),细粒度层级捕捉短期具体意图(如品牌、价格敏感度),JEPA 的平移等变目标可增强时序泛化,适合电商用户行为建模。
- RAE + 流匹配的轻量生成框架:可将物品 Semantic ID 经 PCA 压缩后作为条件,用流匹配生成推荐序列,层级条件丢弃技巧直接控制推荐结果的多样性与相关性平衡,无需额外采样器。
- 小模型(2.55M)CPU 推理 2.8s 的工程启示:对边缘设备或低延迟推荐 Agent 友好,可考虑用层次化浅层 Swin 编码器替代 Transformer 以压缩推理成本。
- 和弦监督头提升无监督调性检测的现象类比:在推荐中,少量有监督辅助任务(如类目预测)能显著增强无属性标签的冷启动物品表征,值得设计多任务头共享主干。
PredAct-Bench:在可控工具噪声下评测对话智能体
🧭 工具增强对话 · 人机信任校准 ★ 深度解读
University of Illinois Urbana-Champaign
提出首个在预测工具噪声下评估对话智能体的基准,发现LLM过度依赖工具而人类能更校准地采纳建议
📌 工作参考价值(4 点)
- 信任校准指标可迁移:RAIR/RSR 指标不依赖特定领域,可直接用于评估推荐解释或对话推荐场景中用户对AI建议的适当依赖程度,帮助诊断过度信任或忽视问题。
- 工具噪声注入方法论:在对话推荐系统中,可以像 PredAct-Bench 一样只对某些工具(如预测评分)注入可控噪声,而保持事实查询类工具准确,以此评估系统在噪声下的鲁棒性和用户行为变化。
- 多轮验证对话设计:所采用的“初始决策-工具对话-最终决策”流程可借鉴到电商Agent中,让用户先看推荐理由再通过追问验证(查历史、反事实),减少盲目采纳有噪声的推荐。
- 人类行为基线参考:论文显示人类会花更多时间、问更少但更有针对性的问题,这提示在设计推荐对话Agent时,不应追求短平快的交互,而应鼓励用户提出证据整合类问题以校准信任。
JarvisHub:画布原生的多模态创作智能体开放框架
🧭 多模态创作智能体架构
JarvisX Team
将可编辑画布作为智能体的记忆、动作空间与共享项目状态,支持长程多模态创作中的持续规划、生成、修订与人工干预。
📌 工作参考价值(3 点)
- 本工作在电商/推荐领域直接应用价值有限,主要面向创意生产工具。
- 可借鉴点:将「画布式可编辑状态」抽象用于推荐系统调试(如召回/排序策略的可视化编排与回溯),用节点和链接表示策略版本、AB 实验分支、指标反馈,便于 Agent 辅助调试与人工介入。
- 在 Agent 协作产品中,可参考三层架构(画布状态、协议桥、智能体运行时)将复杂任务状态显式化,提升可解释性与可控性,尤其适合需要多版本素材管理、人工共同决策的场景(如营销文案、商品图生成)。
桥接言与思:协作问题解决中的对话动态分析框架
🧭 多智体协作·对话分析
Nanyang Technological University · Agency for Science, Technology and Research (A*STAR) · National University of Singapore
提出双层对话编码框架,整合认知与非认知维度及元认知调节,揭示元认知是深层协作的关键区分器
📌 工作参考价值(4 点)
- 评估推荐对话或多轮客服质量时,可引入元认知调节指标(如计划、监控、反思类话语)作为高阶评判维度,单纯任务完成率不够。
- 设计多 Agent 协作系统(如协商推荐)时,显式建模 Agent 的元认知交互(例如生成“是否需调整策略”类话语),可能提升协作深度与用户信任。
- 对话标注可借鉴双层方案,同时标注用户或 Agent 的认知行为与元认知调节,辅助构建更细粒度的对话理解模型。
- 研究结论提示,元认知模式可用于诊断人机协作瓶颈——当对话缺乏监控与调节时,协作易浮于表面,该信号可作为触发干预的规则。
来源标签如何更强烈地扭曲人类的逻辑谬误判断?LLM 更稳健
🧭 人类与LLM在来源标签偏见上的对比研究
The Pennsylvania State University
来源标签(人类/AI)显著影响人类的逻辑谬误评估,而LLM评价保持相对稳定
📌 工作参考价值(4 点)
- 人工评估去来源化:在 UGC 审核、推荐理由质量评估、对话回复打分等场景,不要向评审者展示内容来源(人类/AI),避免“人类写的就更可信”的偏见
- LLM 做先验评判:构建人类反馈对齐(RLHF)数据时,可先用 LLM 对候选内容进行无来源偏见的逻辑/质量评分,再让人工仅针对 LLM 标记的争议点复核,提升标注一致性
- 推荐理由的标签策略:若想提升用户信任,对优质推荐理由可弱化“AI 生成”标签或强调“人工润色”,对低质理由无需披露来源;反方向则可利用标签警示用户批判性看待 AI 内容
- 多智体协作中的信源加权:Agent A 收到标明“人类撰写”或“AI 辅助”的信息时,可内置 LLM 仲裁器重新评估逻辑/事实,降低信源标签对后续决策的链式影响
AutoResearchClaw:自我强化的多智能体自主研究与人机协作
🧭 多智能体自主科研管线与人机协作
UNC-Chapel Hill · UC Santa Cruz · Carnegie Mellon University · NUS · UC Berkeley
多智能体自主研究管线,通过辩论、自修复、交叉运行演化等机制,在ARC-Bench上超越AI Scientist v2 54.7%
📌 工作参考价值(4 点)
- 多智能体辩论机制:用于电商推荐系统中的创意评估或策略生成,多个专业Agent从不同角度(如合规、新颖性、业务指标)辩论和打分,提升输出可靠性。
- 自修复执行循环:在Agent工作流(如商品知识图谱更新、营销文案生成)中引入 Pivot/Refine 决策,将执行失败(如API错误、数据缺失)转化为结构化信息,自动尝试修复或优雅降级。
- 人机协作干预模式:7种干预模式(从全自动到逐步监督)的消融实验表明,在关键决策点(高杠杆点)进行精准人工干预能取得比全自动或过度监督更好的效果,可用于设计电商Agent的控制面板,让运营在关键环节介入。
- 跨运行演化记忆:将历史错误转化为未来防护规则(类似让推荐Agent记住哪些商品搭配曾导致差评,避免再次推荐),可作为长期运行的生成式推荐Agent的经验积累机制。